MMDiff: Extending Diffusion Transformers for Multi-Modal Generation
MMDiff：将冻结扩散变换器扩展为多模态生成系统
🧭 生成式模型多模态解码·扩散特征复用
University of Oxford, Visual Geometry Group
冻结扩散变换器，通过多时间步特征融合与轻量解码头，同时生成图像及密集感知模态
📌 工作参考价值（4 点）
- 冻结大模型 + 轻量任务头：可借鉴到推荐系统的多目标学习或内容理解，冻结预训练 LLM/生成式模型，仅训练极少量参数的任务头，大幅降低训练成本，快速产出多模态信号（如物品描述、属性标签、质量分）。
- 多时间步特征融合：在推荐或 Agent 场景中，若干任务需要序列或推理步骤的中间状态，可类似地融合不同阶段的隐状态，例如在会话推断中融合多步推理的中间表示，提升预测准确性。
- 注意力引导的可解释性：概念驱动的注意力提取可用于生成可解释的推荐理由或搜索解释，通过在生成式推荐模型中提取与特定概念对应的注意力图，提高对用户的理解。
- 大规模合成数据生成：在电商商品配图、广告创意图生成中，可利用此类方法同时产出商品分割图、景深图等多模态标注，低成本构造训练数据，提升下游模型性能。